Ông là em họ của Cao Hoan, quyền thần nhà Đông Ngụy. Cha là Phiên, tự Phi Tước, được nhà Đông Ngụy truy tặng Thái úy, thụy là Hiếu Tuyên công. Nhạc mồ côi cha từ sớm, nhà nghèo nên chưa được mọi người biết đến. Khi trưởng thành, tính tình của ông đôn hậu, thẳng thắn, vẻ ngoài sáng láng, thầm trầm mà có khí phách.

Ban đầu nhà Nhạc ở Lạc Ấp (tức Lạc Dương), mỗi khi Cao Hoan có việc đến Lạc Ấp, đều nghỉ lại ở nhà Nhạc. Mẹ Nhạc là Sơn thị, nửa đêm thức dậy, thấy phòng Hoan có ánh sáng, ngầm đến xem xét, thì nhận ra không có đèn, lấy làm lạ, bèn đến chỗ thầy bói mà hỏi. Được 1 quẻ Đại Hữu thuộc Càn, giảng rằng: "May mắn, Dịch nói: phi long tại thiên, gặp được bậc đại nhân vậy. Đây là phi long cửu ngũ đại nhân, quý không thể nói hết." Sơn thị quay về nói lại với Cao Hoan. Về sau Cao Hoan khởi binh ở Tín Đô, Sơn thị nghe tin, mừng lắm, nói với Nhạc rằng: "Điềm ánh sáng đỏ, nay đã ứng nghiệm rồi. Mày nên đi theo ông ấy, cùng mưu tính việc lớn." Nhạc bèn đến Tín Đô. Cao Hoan gặp ông thì rất vui mừng.